时间序列预测是一个重要的问题，具有许多现实世界的应用。深度神经网络的合奏最近实现了令人印象深刻的预测准确性，但是在许多现实世界中，如此大的合奏是不切实际的。变压器模型已成功应用于各种具有挑战性的问题。我们建议对原始变压器体系结构进行新颖的改编，重点是时间序列预测的任务，称为持久性初始化。该模型通过使用与残留跳过连接的乘法门控机制初始化为幼稚的持久性模型。我们使用具有REZERO标准化和旋转位置编码的解码器变压器，但适应适用于任何自动回归神经网络模型。我们评估了有关挑战性M4数据集的拟议体系结构，与基于合奏的方法相比，取得了竞争性能。我们还将最近提议的变压器模型进行比较，以预测时间序列，显示了M4数据集中的卓越性能。广泛的消融研究表明，持久性初始化会导致更好的性能和更快的收敛性。随着模型的大小的增加，只有我们提出的适应性增长的模型。我们还进行了一项额外的消融研究，以确定正常化和位置编码的选择的重要性，并发现旋转编码的使用和REZERO归一化对于良好的预测性能至关重要。
translated by 谷歌翻译
我们确定了扎根模型的几种变体的匪徒反馈价格的尖锐界限。本文的第一部分介绍了$ r $输入弱加强模型和$ r $输入延迟的，模棱两可的增强模型的界限。在这两种模型中，对手在每回合中均提供$ r $输入，并且只有在所有$ r $猜测都正确的情况下才能表明正确的答案。这两个模型之间的唯一区别是，在延迟的，模棱两可的模型中，学习者必须在收到回合的下一个输入之前回答每个输入，而学习者在弱强化模型中立即接收所有$ r $输入。在本文的第二部分中，我们介绍了使用置换模式的在线学习模型，其中学习者试图通过猜测与子渗透有关的统计数据从一组排列中学习置换。对于这些排列模型，我们证明了匪徒反馈价格的尖锐界限。
translated by 谷歌翻译
自发运动评估可以预测高风险婴儿的长期发育障碍。为了开发用于后续疾病的自动预测的算法，需要通过婴儿姿势估计的段和关节的高精度定位。训练了四种类型的卷积神经网络，并在新颖的婴儿姿势数据集上进行培训，并从临床国际社会中涵盖了1224个视频的大变化。将网络的本地化性能评估为估计的关键点位置和人类专家注释之间的偏差。还评估了计算效率，以确定神经网络在临床实践中的可行性。表现最佳的神经网络对人类专家注释的帧间扩散具有类似的本地化误差，同时仍然有效地运行。总体而言，我们的研究结果表明，婴儿自发运动的姿势估计有巨大的潜力，支持研究潜冲在早期检测儿童发育疾病的潜在脑损伤的发育障碍，这些脑卒中与人为水平绩效的录像量。
translated by 谷歌翻译